Codex CLIと相談するAgent Skillの相談の深さを調整する
Claude CodeからCodex CLIを呼び出して相談させるAgent Skillについて
Agent SkillでCodex CLIを呼び出してレビューに使うなら、起点はOpusではなくHaikuでいいのか?という実験をした
shokai.icon → Claude Code.icon → Codex CLI.icon
中間管理職であるClaude Code.iconを性能の低いHaiku 4.5に差し替えたら、大きく性能が下がった
狭い観点で指示出ししてしまうのかもしれないし
自分より賢い部下のレポートを読みこなせないのかもしれない
考察
「期待する回答の観点」という指示はHaiku 4.5にとって「これ以外は報告しないでいい」というシグナルになっている可能性がある
知力が高い人は期待値を「出発点」として読むが、低い人は「制約」として読む
AIに例示すると「こういう感じで」ではなく「これ以外やる必要がない」と解釈される
相談によって互いの能力が生かされ、増幅し合う条件がある
指示された事はこなしつつ、指示されてない範囲まで調べる知的好奇心
指示してない事まで書かれたレポートを受け止め、それを一つずつ吟味して報告書を書くのが中間管理職としての度量である
何度も相談を往復し、次第に膨らむ情報量に耐える知的体力が必要
良いレビューの条件
網羅的で正しい状況認識
誰の言う事も鵜呑みにはせず事実確認する姿勢
漏れ・抜けの無いレビュー観点
next actionを立てれる形式のレポートを出す
そのために、以下の要素を調節できるようなオプションがあればよいのではないか?
Claude Code.iconがCodex CLI.iconに送るプロンプトに
レビュー観点を含める or 含めない
漏れ抜けを見つけて反論しろという指示を含める or 含めない
ただし、指示しなくても勝手に幅広く探索する事はあるshokai.icon
Claude Code.iconがCodex CLI.iconから受け取ったレビューを読んだ後、「漏れ抜けを見つけて広く考える」という手順を含める or 含めない
相談回数
1回 or 1回か2回自由に or 必ず2回と指定する
これで批判的思考の連鎖の強度をコントロールする
https://gyazo.com/12abb214a3604835457c047c0ffabf92
実装した
done.icon Codexと相談するAgent Skillに相談の深さオプションを追加 #8153
この往復型レビューの実装自体を、レビューしてみる
https://gyazo.com/327001c1fcabd244ef826b7e5cafc9fc
https://gyazo.com/a9c01ef346fad83b22ab2e63765842d3
https://gyazo.com/7b3b44eb0b91efd9db019f0beb633358
https://gyazo.com/a0d04bda754dda0eba2177cac515a643
1番は、私はぱっと見て気づいていた問題だが、Opusが単独で見つけられなくて、Codexとの相談1回目で出てきた観点
6番 失敗検知との接続は、私も見落としていた
shokai/agent-skillsにもpublish済み
https://github.com/shokai/agent-skills/pull/4
しばらく使っていたのだが、複数回の相談往復は本当に凄いと思うshokai.icon
https://gyazo.com/25c68c1390d316d184e70f009e720e1a
相手の言う事を鵜呑みにしない + 漏れ抜けを探す、研究的態度を義務付ける事で、自分と同等以上のレビューができる、という事だけでなく
開発序盤の壁打ちで既出の論点は、AI同士で「それは実はどうでも良くて〜」とか代理で反論してくれる所が楽でいい
人間にとって、指示出すのは楽だけど、大きな成果物をレビューするのは大変という問題が解決している
指示出した後で、曖昧な所を質問してもらって、細かい所を検討するのは楽なのだ
その知識を使って、前提条件わかってるAIと、前提条件しらないAIとで質疑応答バトルしてもらうと、レビューが楽になる